Hoje, a equipe Tongyi da Alibaba Cloud lançou oficialmente o novo modelo de recompensa de processo de raciocínio matemático Qwen2.5-Math-PRM. O modelo está disponível em dois tamanhos, 72B e 7B, apresentando desempenho significativamente superior a modelos de recompensa de processo de código aberto semelhantes, especialmente na identificação de erros de raciocínio. A versão de 7B do Qwen2.5-Math-PRM surpreendentemente superou o popular GPT-4o, um feito que marca um passo importante para a Alibaba Cloud no desenvolvimento de modelos de raciocínio. Para completar...

A equipe Qwen da Alibaba publicou recentemente um artigo intitulado "Lições aprendidas no desenvolvimento de modelos de recompensa de processo em raciocínio matemático" e lançou dois novos modelos na série Qwen2.5-Math-PRM, com 7B e 72B de parâmetros, respectivamente. Esses modelos superaram as limitações das estruturas PRM existentes em raciocínio matemático, utilizando técnicas inovadoras para melhorar significativamente a precisão e a capacidade de generalização dos modelos de raciocínio. O raciocínio matemático tem sido um grande desafio para os grandes modelos de linguagem (LLM), especialmente em passos de raciocínio intermediários, onde erros...

Recentemente, pesquisadores da equipe Qwen da Alibaba lançaram um novo benchmark chamado "PROCESSBENCH", projetado para medir a capacidade dos modelos de linguagem em identificar erros de processo em raciocínio matemático. Com o progresso significativo dos modelos de linguagem em tarefas de raciocínio complexo, pesquisadores nessa área descobriram que, apesar do excelente desempenho dos modelos, eles ainda enfrentam desafios ao lidar com alguns problemas difíceis. Portanto, o desenvolvimento de um método de supervisão eficaz é crucial. Atualmente, os benchmarks de avaliação para modelos de linguagem apresentam algumas deficiências. Por um lado,

A Kimi, o Assistente Inteligente da Lua Escura, anunciou o lançamento de seu novo modelo de raciocínio matemático, o k0-math. O modelo k0-math demonstrou desempenho excepcional em diversos testes de referência de habilidades matemáticas, superando os modelos o1-mini e o1-preview da série OpenAI o1 em quatro testes de referência: exames de nível médio, exames de nível superior, exames de pós-graduação e o MATH, que inclui problemas de competições introdutórias.

Recentemente, pesquisadores da Apple conduziram um estudo aprofundado sobre a capacidade de raciocínio matemático de grandes modelos de linguagem (LLMs), lançando um novo benchmark chamado GSM-Symbolic. Este novo benchmark foi desenvolvido com base no GSM8K, que é usado principalmente para avaliar habilidades matemáticas básicas. Embora muitos LLMs tenham mostrado melhorias no GSM8K, a comunidade científica ainda tem dúvidas sobre a capacidade de raciocínio desses modelos, acreditando que os indicadores de avaliação existentes podem não refletir totalmente suas capacidades reais. A pesquisa revela...

O ranking mais recente do LMSYS Chatbot Arena, uma arena de competição de modelos de linguagem grandes organizada pela LMSYS, mostra que o DeepSeek-V2-0628, ultrapassando vários modelos de código aberto como Llama3-70B, Qwen2-72B, Nemotron-4-340B e Gemma2-27B, ocupa o primeiro lugar no ranking global de modelos de código aberto. Em comparação com a versão 0507, o DeepSeek-V2-0628 apresenta melhorias significativas em raciocínio matemático e de código, seguimento de instruções, interpretação de papéis e JS.